多模态生成式摘要往往采用序列到序列（Seq2Seq）框架，目标函数在字符级别优化模型，根据局部最优解生成单词，忽略了摘要样本全局语义信息，使得摘要与多模态信息产生语义偏差，容易造成事实性错误。针对上述问题，提出一种基于语义相关性分析的多模态摘要模型。首先，在Seq2Seq框架基础上对多模态摘要进行训练，生成语义多样性的候选摘要；其次，构建基于语义相关性分析的摘要评估器，从全局的角度学习候选摘要之间的语义差异性和真实评价指标ROUGE （Recall-Oriented Understudy for Gisting Evaluation）的排序模式，从而在摘要样本层面优化模型；最后，不依赖参考摘要，利用摘要评估器对候选摘要进行评价，使得选出的摘要与源文本在语义空间中尽可能相似。实验结果表明，在公开数据集MMSS上，相较于MPMSE （Multimodal Pointer-generator via Multimodal Selective Encoding）模型，所提模型在ROUGE-1、ROUGE-2、ROUGE-L评价指标上分别提升了3.17、1.21和2.24个百分点。
